如何把因果推断和ML及NLP结合？| 周日直播·因果科学读书会

导语

Judea Pearl认为，因果推理和机器学习融合构建具有自动化推理的Causal AI系统，是实现强人工智能的关键步骤。近年来，学者逐渐意识到现有的模型其实并没有学到人类做同类判断时的因果性的推断过程。自然语言处理（NLP）作为机器学习一大重要任务如何与因果推理结合也逐渐进入学者的视野。本周读书会将邀请马普所和ETH的联合博士金致静介绍因果推理与机器学习结合的潜力和研究新动态，并探讨因果模型具体在NLP上的应用场景和未来方向。

由智源社区、集智俱乐部联合举办的因果科学与Causal AI读书会第三季，其目标是：将主要结合因果推断的潜在结果（Potential Outcomes）框架展开讨论，并尝试在不同领域，包括但不限于医学、经济学、机器学习等领域，尝试建立与SCM的对应关系。读书自2021年10月24日开始，每周日上午 09:00-11:00举办，持续时间预计 2-3 个月。

背景

因果推断和机器学习 (ML) 这两个领域在长期以来各自发展和壮大。然而，随着ML的发展越来越快，逐渐遇到了用单纯的统计去捕捉相关性的不足之处，越来越多的非iid情况 (比如domain shift，adversarial attack等)，显示了ML模型其实并没有学到人类做同类判断时的因果性的推断过程。

把因果推断结合进ML，是把ML推动到能解决非iid问题的一个重要方向。同时，讲者会着重介绍因果方面的insights能够怎么应用在自然语言处理 (NLP) 里，包括对NLP各类任务的因果性分析，以及如何应用causal effect estimation来解决具体NLP的问题，和前景展望。

内容简介

本次演讲将基于Bernhard Schoelkopf和Yoshua Bengio对因果推断和ML结合的蓝图 “Towards Causal Representation Learning” 和 “Causality for Machine Learning” 出发，介绍因果推断和机器学习结合的潜力，和具体的研究新动态。讲座除了会介绍基础性知识之外，还会探讨因果模型具体在自然语言处理 (NLP) 上的应用场景和未来方向。

主讲人

金致静，马普所和ETH的联合博士，主导师为因果推断领军学者Bernhard Schoelkopf。主攻NLP + 因果推断，已发表NLP/AI论文21篇 (包括ACL, EMNLP, NAACL, AAAI, COLING, AISTATS等)。主要合作者和导师包括Prof Rada Mihalcea (密歇根大学), Prof Mrinmaya Sachan (ETH), Prof Ryan Cotterell (ETH)。另有主办众多关于NLP+因果推断的会议和活动，包括1st conference on Causal Learning and Reasoning (CLeaR 2022)，RobustML workshop (ICLR 2021)，Tutorial on CausalNLP (EMNLP 2022)。更多信息详见zhijing-jin.com

参考文献

1. Towards Causal Representation Learning (Bernhard Schölkopf, Francesco Locatello, Stefan Bauer, Nan Rosemary Ke, Nal Kalchbrenner, Anirudh Goyal, Yoshua Bengio): https://arxiv.org/abs/2102.11107
2. Causality for Machine Learning (Bernhard Schölkopf): https://arxiv.org/abs/1911.10500
3. [EMNLP 2021 oral] Causal Direction of Data Collection Matters: Implications of Causal and Anticausal Learning for NLP (Zhijing Jin, Julius von Kügelgen, Jingwei Ni, Tejas Vaidhya, Ayush Kaushal, Mrinmaya Sachan, Bernhard Schölkopf): https://arxiv.org/abs/2110.03618
4. [EMNLP 2021 Findings] Mining the Cause of Political Decision-Making from Social Media: A Case Study of COVID-19 Policies across the US States (Zhijing Jin, Zeyu Peng, Tejas Vaidhya, Bernhard Schölkopf, Rada Mihalcea): https://aclanthology.org/2021.findings-emnlp.27/
5. Learning Logical Fallacies (2021) (Zhijing Jin, Abhinav Lalwani, Tejas Vaidhya, Xiaoyu Shen, Yiwen Ding, Zhiheng Lyu, Mrinmaya Sachan, Rada Mihalcea, and Bernhard Schölkopf): https://bit.ly/logical-nlp
6. Original or Translated? A Causal Analysis of the Impact of Translationese on Machine Translation Performance (2022) (Jingwei Ni, Zhijing Jin, Markus Freitag, Mrinmaya Sachan, Bernhard Schölkopf): https://drive.google.com/file/d/143Q32czLplRt3uICBEzS7bWrOXaVnyN8/
7. Slangvolution: A Causal Analysis of Semantic Change and Frequency Dynamics in Slang (2021) (Daphna Keidar, Andreas Opedal, Zhijing Jin, Mrinmaya Sachan): https://drive.google.com/file/d/1k6-7yluZV3Ndby8nqxYyubf_-n05LCv1/

直播信息

时间：

2022年2月27日晚上20: 00-22: 00

参与方式：

• 文末扫码参加读书会第三季，加入群聊，获取系列读书会回看权限，成为因果社区种子用户，与900余位社区的科研工作者沟通交流，共同推动因果科学的发展。
• 集智俱乐部 B 站免费直播，扫码可预约。

扫码预约

因果科学读书会第三季启动

由智源社区、集智俱乐部联合举办的因果科学与Causal AI读书会第三季，将主要面向两类人群：如果你从事计算机相关方向研究，希望为不同领域引入新的计算方法，通过大数据、新算法得到新成果，可以通过读书会各个领域的核心因果问题介绍和论文推荐快速入手；如果你从事其他理工科或人文社科领域研究，也可以通过所属领域的因果研究综述介绍和研讨已有工作的示例代码，在自己的研究中快速开始尝试部署结合因果的算法。读书自2021年10月24日开始，每周日上午 9:00-11:00举办，持续时间预计 2-3 个月。

读书会大纲一览：

Donald Rubin：Essential Concepts of causal inference

「基础理论学习」

因果推断的潜在结果框架在实验性研究的应用

因果推断在观察性研究中的应用：DESIGN

因果推断在观察性研究中的应用（续）：ANALYSIS

「案例研讨」

医学、药学、生物学中的研究案例

管理学、经济学、社会学及政治学中的研究案例

因果随机森林及其在工业界的应用

多级治疗与连续性暴露

因果推荐系统

因果在自然语言处理中的应用

因果与公平性和可解释性

「深入理论学习」

双稳健估计、处理极端倾向得分的方法

阴性对照试验

高维因果推断

结合随机化试验数据与观察性数据

点击“阅读原文”，报名直播